香零山位于城东5华里潇水河心，实为天然石矾组成的小岛，据光绪《零陵县志》记载：“郡以此名，地产香草，其叶如罗勒，香闻数十步，唐世上供，郡人苦之，刺史韦宙奏罢之。香零山，东西长20米，南北宽15米，高出水面8米，蒋本厚记云：“芳香流荡荡，为贴水芙蓉，与波明灭，至秋高水落、亭亭孤峙、不可攀跻，予普泊舟其下，明月东来，江水莹白，独坐揽扶，觉草木皆有香气，知古人命名殊不草之。

　　唐柳宗元写有《登莆州石矾望横江口潭岛深回斜对香零山》诗。香零山地处潇水中流，形势险要，每当春夏水涨，撑舟、排误触此山，故清王德榜等人倡建观音阁于山上，招僧居内，设救生船只，白天击钟声，晚点灯报警，以求过往船只注意。香零山风景幽美，有“香零烟雨”之称，为永州八景之一。